A Sequential Decision Framework for Evaluating LLM-Guided Search
评估 LLM 引导搜索的序列决策框架
🧭 LLM 搜索策略的统一评估框架 ★ 深度解读
University of Waterloo · University of Glasgow
将 LLM 引导搜索抽象为 select/spawn 序列决策，统一评估高召回检索与 deep research 策略
📌 工作参考价值（4 点）
- 做 Agentic Search / RAG 搜索策略时，把每次决策拆成 select（继续看当前召回 list）和 spawn（重新生成 query 或换召回通道），可以统一 A/B 不同策略，避免只按最终答案做黑盒评估。
- 电商搜索改写长尾 query 时，可借鉴「批量 query reformulation + Move-to-Front」：一次性生成多路 candidate queries / 召回 lists，再动态把近期能出相关结果的 list 调到前面轮转；这比固定只走单路或仅前向探索召回更高，但要显式设置 spawn quota 或连续无效结果阈值，否则 LLM 判断成本会显著上升。
- 检索底座和策略同等重要：SPLADE 与 hybrid reranker 在所有策略下都比 BM25 更高效。业务上先把底层召回/精排做扎实，再叠加搜索策略，不要只优化 policy。
- 评测指标可以按预算场景重构：高召回或商品覆盖场景用 recall@R 或有效 nugget 覆盖率，而不是只看 DCG@K；同时可以把停止规则设成全局连续无关结果数，衡量单位 LLM 判断成本下的收益。